·       مقدمه

معرفی داده‌کاوی و دلايل پيدايش آن

تعاريف داده کاوي

جايگاه داده‌کاوی در علوم کامپيوتر

·       طبقه بندی روش های داده کاوی

1. داده کاوی توصیفی یا توصیف کننده

2. داده کاوی پیشگویانه

·           مراحل و اجزای يک فرآيند داده‌کاوی

1. بیان مسئله و فرموله کردن فرضیه

2. انتخاب و جمع آوری داده ها

3. تبديل و پیش پردازش  داده ها

4. برآورد مدل یا کاوش در داده ها

5. تفسير نتيجه یا تفسیر مدل و رسیدن به نتایج

·       آماده سازی داده ها

1. مدل استاندارد داده ها

2. دو وظیفه اصلی در آماده سازی داده ها

·       تبدیل و تغییر وضعیت داده های خام

1. نرمال سازی

     1-1 مقیاس دهی اعشاری

     2-1 نرمال سازی حداقل-حداکثر

     3-1 نرمال سازی انحراف معیار

2. یکنواخت سازی داده ها

3. تفاضل ها و نسبت ها

·         مفهوم داده های از دست رفته و راه حل جبران داده های از دست رفته

·       مفهوم و روش های تشخیص داده های نامنطبق

1. روش های آماری 2. تشخیص داده های نامنطیق برمبنای فاصله 3. روش ها و تکنیک های برمبنای انحراف

·       کاهش داده ها

1.      اعمال اصلی در فرایند کاهش داده ها

2.      یافته های حاصل از کاهش داده ها

         2-1 کاهش زمان محاسبه.

        2-2 افزایش یادگیری در دقت پیشگویانه/توصیفی.

        2-3 سادگی در ارائه مدل داده کاوی.

·         روش های نمونه گیری برای نمونه های بزرگ

1. نمونه گیری سیستمی.

2. نمونه گیری تصادفی.

3. نمونه گیری لایه ای.

4. نمونه گیری معکوس.     

مقدمه

امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم ها، نياز به ابزاري است تا بتوان داده هاي ذخيره شده پردازش کرد و اطلاعات حاصل از اين پردازش را در اختيار کاربران قرار داد.

با استفاده ار پرسش هاي ساده درSQL  و ابزارهاي گوناگون گزارش گيري معمولي، مي توان اطلاعاتي را در اختيار کاربران قرار داد تا بتوانند به نتيجه گيري در مورد داده ها و روابط منطقي ميان آنها بپردازند اما وقتي که حجم داده ها بالا باشد، کاربران هر چقدرحرفه ای و با تجربه باشند نمي توانند الگوهاي مفيد را در ميان حجم انبوه داده ها تشخيص دهند و يا اگر قادر به اين کار هم با شند، هزينه عمليات از نظر نيروي انساني و مالي بسيار بالا است.

بنابراین میشود گفت که درحال حاضر یک تغییر الگو از مدل سازی و تحلیل های کلاسیک برپایه اصول اولیه به مدل های درحال پیشرفت و تحلیل های مربوط بطور مستقیم از داده ها وجود دارد.

داده کاوي يکي از مهمترين اين روشها است که به وسيله آن الگوهاي مفيد در داده ها با حداقل دخالت کاربران شناخته مي شوند و اطلاعاتي را در اختيار کاربران و تحليل گران قرار مي دهند تا براساس آنها تصميمات مهم و حياتي در سازمانها اتخاذ شوند.

تعاريف داده کاوي

در متون آکادميک تعاريف گوناگوني براي داده کاوي ارائه شده اند. در برخي از اين تعاريف داده کاوي در حد ابزاري که کاربران را قادر به ارتباط مستقيم با حجم عظيم داده ها مي سازد معرفي گرديده است و در برخي ديگر، تعاريف دقيقتر که درآنها به کاوش در داده ها توجه مي شود موجود است.

برخي از اين تعاريف عبارتند از :

1.      داده کاوي عبارت است از فرايند استخراج اطلاعات معتبر، از پيش ناشناخته، قابل فهم و قابل اعتماد از پايگاه داده هاي بزرگ و استفاده از آن در تصميم گيري در فعاليت هاي تجاري مهم.

2.      فرايند نيم خودکار تجزيه و تحليل پايگاه داده هاي بزرگ به منظور يافتن الگوهاي مفيد اطلاق مي شود.

3.      داده کاوي يعني فرایند جستجو در يک پايگاه داده ها براي يافتن الگوهايي ميان داده ها.

4.      داده کاوي يعني تجزيه و تحليل مجموعه داده هاي قابل مشاهده براي يافتن روابط مطمئن بين داده ها.

5.      داده کاوي يعني استخراج دانش کلان ، قابل استناد و جديد از پايگاه داده ها ي بزرگ.

نکته:  همانگونه که در تعاريف گوناگون داده کاوي مشاهده مي شود، تقريبا در تمامي تعاريف به مفاهيمي چون استخراج دانش ، تحليل و يافتن الگوي بين داده ها اشاره شده است.

" داده کاوي فرآيندي است که طي آن با استفاده از ابزار های  تحليل داده به دنبال کشف الگوها و ارتباطات ميان داده هاي موجود که ممکن است منجر به استخراج اطلاعات جديدي از پايگاه داده گردند، مي باشد."

در داده کاوي از بخشي از به نام تحليل اکتشافي داده ها استفاده مي شود که در آن بر کشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاکيد مي شودبنابراين مي توان گفت در داده کاوي تئوريهاي پايگاه داده ها، هوش مصنوعي، يادگيري ماشين وعلم آمار را در هم مي آميزند تا زمينه کاربردي فراهم شود.

بايد توجه داشت که اصطلاح داده کاوي زماني به کار برده مي شود که با حجم بزرگي از داده ها در حد گیگابایت يا ترابايت، مواجه باشيم که از این نظر یکی از بزرگترین بازارهای هدف، انبارجامع داده ها، مراکز داده وسیستم های پشتیبانی تصمیم برای بدست آوردن تخصص هایی در صنایعی مثل شبکه های توزیع مویرگی، تولیدف مخابرات، بیمه و... می باشد.

نکته: در تعاریفی که از داده کاوی ارائه شد به اصطلاح "فرایند" اشاره شد. حتی در بعضی محیط های حرفه ای این نظر وجود دادرد که داده کاوی شامل انتخاب و بکارگیری ابزارهای مبتنی بر کامپیوتر برای حل مسائل فعلی و بدست آوردن یک راه حل بطور اتوماتیک و خودکار میباشد.

برای اموزش داده کاوی، باید بر مفاهیم و روش های اعمال شده برخلاف همه جاذبه های ابزارهای مبتنی بر کامپیوتر که امور رابا جزئیات ودستورات با فرمت های خاصی باید به خیلی از سوالات از جمله چگونگی طراحی واستفاده از فرایندها را پاسخ داد به جای بیان جزئیات عملی ابزار مختلف داده کاوی تکیه نمود.

طبقه بندی روش های داده کاوی:

1. داده کاوی توصیفی یا توصیف کننده که اطلاعات جدید وغیربدیهی رابراساس مجموعه داده های موجود ارائه می دهد.

در این روش توصیف، هدف کلی بدست اوردن یک شناخت از سیستم های تجزیه و تحلیل شده توسط الگوها و روابط بین داده هایData Warehouse ها که تحت عناوینی مثل کشف الگوی ترتیبی، کشف قانون وابستگی و خوشه بندی هستند، می باشد.

2. داده کاوی پیش گویانه مدلی از سیستم را ارائه می دهد که شامل بکارگیری متغییرها و فیلدهادرData Warehouseها جهت پیشگویی مقادیر ناشناخته می باشد. در این طیف)پیش گویانه( هدف کلی داده کاوی ایجاد مدلی است که بعنوان یک برنامه بنوان از آن برای طبقه بندی و تشخیص و کشف خطا استفاده کرد.

مراحل فرايند کشف دانش از پايگاه داده ها

فرايند کشف دانش از پايگاه داده ها شامل پنج مرحله است که عبارتند از:

1.      درک قلمرو یا بیان مسئله و فرموله کردن فرضیه

2.      انتخاب و جمع آوری داده ها

3.      تبديل داده ها

4.      کاوش در داده ها

5.      تفسير نتيجه یا تفسیر مدل و رسیدن به نتایج

بیان مسئله و فرموله کردن فرضیه:

در ابتداي امر پيش زمينه كشف دانش، فهم درست داده و مساله مي باشد. بدون اين فهم درست هيچ الگوريتمي صرف نظر از خبره بودن آن نمي تواند نتيجه مطمئني براي شما حاصل نمايد و داده را جهت كاوش آماده نموده يا نتايج را به طور صحيح تفسير نمود. براي استفاده بهتر از داده كاوي بايد يك بيان واضح از هدف داشت. در این مرحله انچه نیاز است  ترکیبی از تخصص یک زمینه کاربردی و یک مدل داده کاوی است و شاید بتوان گفت یک تقابل نزدیک سر یک مسئله واحد و چندین فرضیه فرموله شده بین متخصصین داده کاوی و متخصصین کاربردی میباشد.

1. انتخاب و جمع آوری داده ها:

این مرحله درارتباط با چگونگی تولید و جمع آوری داده ها است.

بطور کلی، دو امکان وجود دارد: